In-Place Tokenizer Expansion for Pre-trained LLMs
预训练 LLM 的原地分词器扩展方法
🧭 LLM 分词器工程 · 多语言高效推理
Liquid AI
通过继续 BPE 合并和两阶段微调，无需重训即可扩展分词器，将低资源语言 token 数压缩 2-4 倍，解码提速 2.2-3.7 倍
📌 工作参考价值（4 点）
- 需要支持新语言或新增领域词汇（如电商术语、产品 ID）时，可沿用原分词器继续做 BPE 合并，避免重建词典和重新预训练
- 新 token 嵌入用已有子 token 嵌入的均值初始化，能加速收敛，此技巧可迁移到推荐系统新增 Semantic ID token 的场景
- 两阶段适应：先冻结主干仅训练嵌入层，再全模型继续预训练，可降低迁移成本，适合在线模型热更新
- 端侧部署的推荐 Agent 或对话模型可通过分词器扩展减少 token 碎片，直接降低解码延迟与能耗